从分布式敏感数据中学习隐私的模型是一个越来越重要的问题,通常在联邦学习环境中提出。最近通过分区的变异推理算法扩展到了非私有联盟学习设置。为了保护隐私,当前的黄金标准称为差异隐私。差异隐私在强大的数学上明确定义的意义上保证了隐私。在本文中,我们介绍了差异化的分区变异推断,这是学习与联合学习环境中贝叶斯后分布的差异近似的第一个通用框架,同时最大程度地减少了通信弹的数量并为数据主体提供差异隐私保证。我们在通用框架中提出了三个替代实现,一个基于单个方面的本地优化,而两个基于扰动全局更新(一种使用联合平均版本,一个将虚拟方添加到协议中),并比较其属性,并比较其属性理论上和经验。我们表明,只要各方都有足够的本地数据,扰动本地优化与简单且复杂的模型效果很好。但是,每个方始终独立保证隐私。相比之下,扰动全局更新与相对简单的模型最有效。鉴于可以访问合适的安全原始词,例如安全聚合或安全的改组,所有各方都可以共同保证隐私。
translated by 谷歌翻译